Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents
诊断长程搜索代理的搜索行为与失败模式
🧭 搜索代理行为诊断与失败分析 ★ 深度解读
Renmin University of China · National University of Singapore
通过轨迹级诊断揭示搜索努力与答案质量弱相关，证据检索召回率才是核心，失败可拆分为检索缺口与利用缺口
📌 工作参考价值（4 点）
- 用累积证据召回率替代搜索步数作为健康指标：在构建电商问答Agent或深度搜索产品时，监控“已检索到的黄金证据占比”远比统计搜索次数更能预测回答准确性。可嵌入评估链路，实时判断搜索质量。
- 实施基于证据增量的动态停止策略：研究发现77–94%的搜索步骤未带来新证据，有用证据集中在早期。可在Agent中增加模块，当连续K步未检索到新证据或已达累积证据阈值时自动终止搜索，减少尾部浪费和上下文溢出。
- 区分检索侧与利用侧失败，定向修复：错误答案可分为“从未找到证据”（检索缺口）和“找到证据但回答错”（利用缺口）。在迭代优化时，前者应改进查询改写与探索策略，后者应加强证据验证与答案归因。不同Agent的缺口比例差异大，需按诊断施治。
- 上下文管理优先处理搜索摘要流：搜索片段占用了大部分上下文（66–85%），远高于访问内容。可引入摘要去重、按轮次老化旧摘要、限制保留摘要数量等机制，防止旧信息淹没后续推理。